PACERec: Progressive Adaptation of LLM Item Embeddings with Collaborative Evidence for Recommendation
PACERec：基于协同证据的 LLM 物品嵌入渐进自适应用于推荐
🧭 LLM 表征适应 · 长尾序列推荐 ★ 深度解读
Northeastern University · Ant Group
用 flow matching 学共享速度场，将静态 LLM 物品嵌入渐进适配前序行为目标，实现无 ID 长尾序列推荐
📌 工作参考价值（4 点）
- 电商冷启动 / 长尾 item 可直接复用无 ID 思路：用 frozen LLM embedding 对商品标题/描述编码，经两层 MLP 降维到推荐主模型维度，PCA 初始化投影层保留语义几何；新商品只要有过文本属性就能拿到有效表示，避免长尾 ID embedding 欠训。
- 离线构造行为目标成本低且有效：对每个 item，取训练序列中它前面 L 步内的前驱 item 初始语义向量，按 recency 指数加权平均 + norm matching + clip，生成固定的 behavior target；这相当于给每个 item 一个“用户接下来会买什么”的监督信号，可以离线一次算好，训练时直接当 flow matching 的 target。
- 只对频繁 item 监督、共享速度场推断长尾：设置频次阈值 κ，只让 c_i≥κ 的 item 参与 flow matching，loss 用 sqrt(c_i/(c_i+c0)) 做 confidence weighting；学到的 velocity field 以 item semantic source 为条件，长尾甚至零交互 item 也能直接过 flow 得到行为适应表示。工程上可离线缓存全量 adapted embeddings 供后续双塔/序列模型使用。
- 排序层加参数无关语义相似度旁路：在 frozen LLM 空间对用户最近 history 加权池化得到 semantic query，与候选 item cosine 相似度做 per-user z-score 标准化，再和 preference score 加权融合。这个旁路对 tail 指标提升明显，权重用 validation 上固定值选择即可，不需要可学习参数，部署简单。